find()和find

您所在的位置:网站首页 find和find out的区别 find()和find

find()和find

2023-08-28 13:06| 来源: 网络整理| 查看: 265

在我们学会了BeautifulSoup库的用法后,我们就可以使用这个库对HTML进行解析,从网页中提取我们需要的内容。

在BeautifulSoup 文档里,find()、find_all()两者的定义如下:

  find(tag, attributes, recursive, text, keywords)

  find(标签,属性,递归,文本,关键词)

  find_all(tag, attributes, recursive, text, limit, keywords)

  find_all(标签、属性、递归、文本、限制、关键词)

find()与find_all()的区别,find()只会取符合要求的第一个元素,find_all()会根据范围限制参数limit限定的范围取元素(默认不设置代表取所有符合要求的元素,find 等价于 find_all的 limit =1 时的情形),接下来将对每个参数一一介绍。

另外,find_all()会将所有满足条件的值取出,组成一个list

 

下面我们就一一介绍函数中各个参数的作用:

一、标签tag

标签参数 tag 可以传一个标签的名称或多个标签名称组成的set做标签参数。例如,下面的代码将返回一个包含 HTML 文档中所有链接标签的列表: find_all("a")

下面以“百度一下”网页举例,如下图,现在要将百度页面上的所有的链接取出,观察网页源代码可以发现,标题对应的tag 是a,则soup.find_all('a')

 

 

 代码如下:

from bs4 import BeautifulSoupimport requests

url = 'https://www.baidu.com/'urlhtml = requests.get(url)urlhtml.encoding = 'utf-8'soup = BeautifulSoup(urlhtml.text, 'lxml')

n = soup.find_all('a')print(n)

结果如下,我们就找出了全部的标签。

上面例子只是一个标签的情况,如果多个标签写法相同,只是注意要将所有的标签写在一个set里面

二、属性attributes

属性参数 attributes 是用字典封装一个标签的若干属性和对应的属性值。如,下面这个函数会返回 HTML 文档里“mnav”的a标签。find_all("a", {"class":{"mnav"}})

如下图,现在要获取网页中的“新闻”等信息,通过观察可知,它们的属性为"mnav",标签为a。

 

 

则我们可以编写代码:

from bs4 import BeautifulSoup import requests url = 'https://www.baidu.com/' urlhtml = requests.get(url) urlhtml.encoding = 'utf-8' soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all('a', {'class': 'mnav'}) print(n)

运行结果如下,可以看出输出的链接的属性全部为“mnav”。

三、递归recursive

递归参数 recursive 是一个布尔变量。你想抓取 HTML 文档标签结构里多少层的信息?如recursive 设置为 True, find_all()就会根据你的要求去查找标签参数的所有子标签,以及标签的子标签。如果 recursive 设置为 False, find_all()就只查找文档的一级标签。 find_all默认是支持递归查找的(recursive 默认值是 True),这里是很少使用的,所以我在这儿就不在举例了。

四、文本text

文本参数 text 有点不同,它是用标签的文本内容去匹配,而不是用标签的属性。

我们再以“百度一下”的网页举例吧,在这个网页中,我们查找一下“新闻”在该网页中出现了多少个(其实只出现了一个)

from bs4 import BeautifulSoup import requests url = 'https://www.baidu.com/' urlhtml = requests.get(url) urlhtml.encoding = 'utf-8' soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all(text='新闻') print(n)

结果如下:

 

需要特别注意一点,这里查找是用的是完全匹配原则,意思是如果这里你用了find_all(text=“新”),得到的结果会是0个

五、关键词keywords

关键词参数 keyword,自己选择那些具有指定属性的标签

 

 

上面网页的内容,现在要取id='wrapper'的内容,则

from bs4 import BeautifulSoup import requests url = 'https://www.baidu.com/' urlhtml = requests.get(url) urlhtml.encoding = 'utf-8' soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all(id='wrapper') print(n)

结果如下,也就是选中的中的内容

注意:如果是class、id等参数,用keywords 或者attributes用法一样,如果是一些其他参数,则用keywords



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3